Văn Miếu được xây dựng từ năm 1070 (tức năm Thần Vũ thứ hai đời Thánh Tông nhà Lý). Đại Việt sử ký toàn thư (Nhà xuất bản Khoa học xã hội, Hà Nội, tập 1, tr.234) chép: "Mùa thu tháng 8, dựng Văn Miếu, đắp tượng, Khổng Tử, Chu Công và Tứ phối, vẽ tượng Thất thập nhị hiền, bốn mùa cúng tế. Hoàng thái tử đến đây học."[lower-alpha 1] Như vậy, ngoài chức năng thờ các bậc tiên thánh, tiên sư của đạo Nho, Văn Miếu còn mang chức năng của một trường học hoàng gia mà học trò đầu tiên là Thái tử Lý Càn Đức (tức vua Lý Nhân Tông), con trai vua Lý Thánh Tông với Nguyên phi Ỷ Lan, lúc đó mới 5 tuổi.

Năm 1076, Lý Nhân Tông cho lập trường Quốc Tử Giám ở bên cạnh Văn Miếu. Có thể coi đây là trường đại học đầu tiên ở Việt Nam. Ban đầu, trường chỉ dành riêng cho con vua và con các bậc đại quyền quý (nên gọi tên là quốc tử). Khâm định Việt sử Thông giám cương mục chép: "Bính Thìn, năm Anh Vũ Chiêu Thắng nguyên niên (thứ nhất), tháng 4...lập nhà Quốc Tử Giám, tuyển trong các văn thần lấy những người có văn học, bổ vào đó". Năm 1156, Lý Anh Tông cho sửa lại Văn Miếu và chỉ thờ Khổng Tử.

Năm Nguyên Phong thứ ba (1253), vua Trần Thái Tông đổi Quốc Tử Giám thành Quốc học viện cho mở rộng và thu nhận cả con cái các nhà thường dân có sức học xuất sắc. Chức năng trường Quốc học ngày càng nổi bật hơn chức năng của một nơi tế lễ. "Quý Sửu năm thứ ba (1253), tháng 6...lập Quốc học viện, tô tượng Khổng Tử, Chu Công và Á Thánh, vẽ tượng 72 người hiền để thờ...Tháng 9, xuống chiếu cho các nho sĩ trong nước đến Quốc học viện giảng học tứ thư, ngũ kinh...Lấy Phạm Ứng Thần giữ chức Thượng thư kiêm chức Đề điệu Quốc tử viện để trông nom công việc học tập tại Quốc Tử Giám." (ĐVSKTT)

Đến đời Trần Minh Tông, Chu Văn An được cử làm quan Quốc tử giám Tư nghiệp (tương đương với chức Hiệu trưởng ngày nay), trực tiếp dạy dỗ các hoàng tử. Năm 1370, khi ông mất, vua Trần Nghệ Tông cho thờ ở Văn Miếu bên cạnh Khổng Tử.

Sang thời Hậu Lê, Nho giáo rất thịnh hành. Vào năm 1484, Lê Thánh Tông cho dựng bia của những người thi đỗ Tiến sĩ từ khoa thi năm 1442 trở đi (chủ trương đã đề ra năm 1442 nhưng chưa thực hiện được). Mỗi khoa, một tấm bia được đặt trên lưng rùa. Tới năm đó, nhà Lê đã tổ chức được 12 khoa thi cao cấp. Lê Thánh Tông (1460-1497) đã tổ chức đều đặn cứ ba năm một lần, đúng 12 khoa thi.

Không phải khoa thi nào tiến hành xong đều được khắc bia ngay, không phải bia đã dựng thì vĩnh tồn, không hư hỏng, không mất mát. Từng thời có những đợt dựng, dựng lại lớn, như năm 1653 (niên hiệu Thịnh Đức thứ nhất), và năm 1717 (niên hiệu Vĩnh Thịnh thứ mười ba).

Cuối thời Lê, đời Cảnh Hưng, bia vẫn được khắc đều đặn. Dù không còn giữ được đủ bia, nhưng những công trình điêu khắc vẫn giữ được giá trị và tư liệu lịch sử quý báu.

Năm 1762, Lê Hiển Tông cho sửa lại là Quốc Tử Giám – cơ sở đào tạo và giáo dục cao cấp của triều đình.

Đến đời nhà Nguyễn, Quốc Tử Giám được lập tại Huế. Năm 1802, vua Gia Long ấn định đây là Văn Miếu Hà Nội. Tổng trấn Bắc thành Nguyễn Văn Thành cho xây thêm Khuê Văn các bên cạnh giếng vuông. Như vậy vào đầu thời Nguyễn, Văn Miếu Thăng Long đã một lần được sửa sang chỉ còn là Văn Miếu của trấn Bắc thành, sau đổi thành Văn Miếu Hà Nội. Còn Quốc Tử Giám thì đổi thành học đường của phủ Hoài Đức và sau đó tại khu vực này xây đền Khải Thánh để thờ cha mẹ Khổng Tử.

Đầu năm 1947, thực dân Pháp nã đạn đại bác làm đổ sập căn nhà, chỉ còn cái nền với hai cột đá và 4 nghiên đá. Ngày nay toàn bộ khu Thái học được xây dựng với diện tích 1530m² trên tổng diện tích 6150m² gồm các công trình kiến trúc chính là Tiền đường, Hậu đường, Tả vu, Hữu vu, nhà chuông, nhà trống được mô phỏng theo kiến trúc truyền thống trên nền đất xưa của Quốc Tử Giám.